（来源：上观新闻）
作者声🙍🍵明：该图片由A🆘🧒I生成 这绝非👆孤立的狂欢💍👵。很多真🦜👨👦正能把模型做成🇲🇲🧓产品的人，并不📈💾是纯粹🏂🎉从实验室里出来🕙的🛠。庞大而强大的🦕模型集中在最大的🐕🌭人工智能公🔀🕐司手中，这些😷⚽公司越来越多地将🇯🇲♻训练代🔳码、数据集大🇲🇽🦅小和参数数量保密👯♂️。
Anthrop🧓💱ic先💎😝搭建了跨🦂🛡应用上下🔠文层，再逐个填🥈🇷🇴充应用⚾。例如： “的” 🚐→ 单独1个to🆖🇧🇪ken🇨🇮🎗 “中🔀📓国” →📦♻ 1个toke🧟♂️🇦🇺n（高频组合） 🎊🇬🇷“人工🕥🏎智能” → 2🍒个token（🇹🇫🇲🇫“人工”+“智能😋”） 🐲🌔单个生僻字和长词🚋🔓被拆解成多个词元👩❤️💋👩 对于低频字或专🥭🎆业术语，B🔨PE算法🏴缺乏足够的合并动☠🇰🇳力，只能拆分为基🌇础字符甚至👨👨👧👧🇹🇨UTF-8字节：🍺 “薹”🇱🇨🎌（生僻字）→ 🏎可能被📥🏴拆为2-3⏮个token🏨😟 “意大利薄💿🛠底萨拉🏌🏤斯米肠披萨” →🛶 可能被拆为10🌍+个t🌺oken 这种🔈差异直接体现在🇺🇳计费上🐗6️⃣。
单纯会训练模👩🎤型的人👩🦰👀很多，单纯会讲战♈🔵略的人也🍣很多，难的🇪🇹👨👩👧👦是有人知道一⚱个模型从技术路线🇧🇻开始，到架构设♏计，到㊙训练推理，到产🧷🎄品出口，到最后👝被商家和🎙用户用起🚙🍡来，中间每一🕍步会在🤝哪里卡住🧓。
